Trust Guided Decision Transformer
信任引导的决策 Transformer
🧭 离线强化学习 · 决策 Transformer 上下文选择
International Institute of Information Technology Bangalore · IBM Research Bangalore
用模型自身状态预测误差加保形校准筛选可信上下文，再让 critic 选动作，缓解长 rollout 分布漂移
📌 工作参考价值（4 点）
- 在长程 Agent / 对话式推荐中，自回归生成的上下文容易偏离训练分布；可以复用「下一步状态/Token 预测误差」作为 OOD 信号，而不只依赖 reward 或 critic 分数。
- 用 split conformal prediction 在离线验证集上标定预测误差阈值，能获得覆盖率保证，避免人工拍阈值；适合对会话状态转移模型或用户序列模型做在线可信度过滤。
- 先做 trust filtering 再做 value/critic 选择：不要从不可靠 context 生成的动作里用 critic 选高价值动作；应当让 critic 只在可信 context suffix 集合内打分，能降低 OOD 动作风险。
- 对长序列推荐或 Agent 轨迹，可维护多个最近 context suffix，逐段做误差检查，只保留可信历史片段，实现类似软 reset 的上下文控制，避免硬 reset 丢失重要信息。